真实感三维人脸唇形动画系统的语音驱动

【摘要】人脸动画是一种通过计算机合成人脸表情运动的人机交互方式，是虚拟现实领域相当活跃的研究方向，目前，在虚拟主持人、可视电话、辅助教学、医疗研究、游戏娱乐、电影和动漫制作等诸多领域均有广泛的应用。语音驱动的三维人脸唇形动画技术属于人机多模态交互领域，简单来说，就是利用音频文件来驱动人脸的唇部，生成与语音同步的口型动作。该技术丰富了人机接口的内容，提高了人机交互的效率，降低了音视频资源实时共享时对网络带宽的要求，因此，得到了国内外研究人员的广泛重视。本文在深入研究了唇形动画技术、语音驱动动画技术以及语音的分析与处理等关键技术以后，设计并实现了基于MPEG-4标准的以语音文件为驱动源的真实感三维人脸唇形动画系统。该系统操作简单，通用性强，运行效率高，满足实时语音驱动唇形动画的需求。本文的主要工作包括：一、建立通用的人脸网格模型。本文采用建模软件进行建模的方式，利用Direct3D纹理映射技术将人脸图片映射到网格模型上，得到逼真的人脸模型。由于通用的三维人脸网格模型的拓扑结构相同，因此，对于任意的主体对象都可以使用设计好的通用的人脸网格模型驱动方法。二、设置唇部特征点。首先，分析了英文发音时元音与辅音的相互影响程度，归纳出典型的唇部动作。为了更准确的控制和驱动唇部进行动作，并且与MPEG-4标准兼容，定义了10个外唇特征点和8个内唇特征点。然后构建了唇部动画定义表来存储每个唇部FAP控制的唇部特征点信息。要想控制唇部模型进行动作，需要在得到了唇部FAP的值后，在唇部动画定义表中查找FAP的影响区域，并利用MPEG-4中提供的算法，计算出由该FAP控制的所有网格点的新的三维坐标信息。计算一组FAP中每一个FAP影响的网格点位移并进行叠加，最终得到一个形象的唇形。三、提取语音特征参数。对输入的语音文件进行数字化、预加重、分帧加窗和端点检测的处理，其中，端点检测采用基于短时平均能量和短时平均过零率双门限的方法。然后，提取出语音特征参数MFCC，利用双层隐马尔科夫模型建立语音特征参数与唇部动画参数的映射模型。第一层映射模型中将当前语音帧以及它的前一帧和后一帧作为模型的观察值序列。对同一唇形类别中的语音观察值进行唇形类内再聚类，得到第二层映射模型，使得可视语音合成的真实感提高很多。因此，只要提取出实时语音的MFCC后就能利用映射模型得到唇部FAP的信息，从而驱动嘴唇运动。该方法可以有效地实现真人发声与唇形动画之间的同步，增强了动画的真实感。四、分析了语音驱动的真实感三维人脸唇形动画系统的功能需求和工作流程，采用微软的Direct3DSDK和VC++6.0开发工具，编程实现了能够接受实时的语音输入并在人脸模型上输出与之同步的真实感唇形动画的系统。
【作者】朱明会；
【导师】许志闻；
【作者基本信息】吉林大学，计算机应用技术，2014，硕士
【关键词】唇形动画；语音驱动；语音特征参数；Mel频率倒谱系数；隐马尔科夫模型；MPEG-4；

【参考文献】
[1]马光星.数字图像压缩编码[J].现代电信科技.1995(03)
[2]罗佳怡.苏州市姑苏区街道办事处职能转变研究[D].苏州大学,公共管理（专业学位）,2014,硕士.
[3]陈德琳.基于旅游资源可达性的公路网络优化方法研究[D].哈尔滨工业大学,交通运输规划与管理,2013,硕士.
[4]扈彬,刘温霞,张洁.光催化技术及前景分析[J].华东纸业,2014,03:42-45.
[5]赵华峰.西部国家高新区人力资本技术经济评价与分析[D].四川大学,2004.
[6]牛建刚.典型住宅结构楼面荷载的调查与统计分析[D].西安建筑科技大学,结构工程,2004,硕士.
[7]张利,杨以涵,杨秀媛.配电网离线故障定位方法研究与实现[J].电力系统自动化,2009,01:70-74.
[8]李妍.中学生道德同一性与亲社会行为的关系研究[D].河北师范大学,发展与教育心理学,2012,硕士.
[9]李珊珊.基于ZigBee的无线传感网络节点设计与实现[D].湖南大学,电子与通信工程,2013,硕士.
[10]赵博.科幻是一种认知游戏[D].西北大学,文艺学,2014,硕士.
[11]王源.高血压左心室舒张功能不全中医证候特点及中药干预实验研究[D].北京中医药大学,中医内科学,2013,硕士.
[12]张洁.雷公藤总生物碱的含量测定和不同有效组分的制备研究[D].天津医科大学,药物分析,2009,硕士.
[13]蔡利敏.基于提高系统可靠性和降低网络损耗的配电网络重构[D].西安理工大学,电力电子与电力传动,2004,硕士.
[14]代蓉.云南省新农保和城居保并轨的基金管理研究[D].云南财经大学,社会保障,2014,硕士.
[15]刘嵘.面向数据仓库的MIS系统设计方法研究[D].河海大学,2002.
[16]哈斯.混业经营趋势下中国金融监管模式创新研究[J].内蒙古社会科学(汉文版),2014,01:110-114.
[17]杜文龙.引文分析软件的应用比较分析研究[D].西北大学,图书馆学,2013,硕士.
[18]杜志强.论主体间性课程[D].广西师范大学,课程与教学论,2003,硕士.
[19]刘志刚,申金升.区域公交时刻表及车辆调度双层规划模型[J].系统工程理论与实践,2007,11:135-141.
[20]王礼胜.高中思想政治课学生问题意识的培养[D].苏州大学,教育学原理（专业学位）,2013,硕士.
[21]胡卫华.基于桶消元的多连通贝叶斯网络推理算法的改进与实现[D].华北电力大学（河北）,2004.
[22]朱家峰.核盘菌生防细菌的分离、鉴定与生防活性筛选的研究[D].吉林大学,农业推广,2012,硕士.
[23]吕明旭.从流通体制分析农产品价格波动现象[D].辽宁大学,西方经济学,2012,硕士.
[24]张欢.鼻炎3号治疗鼻渊的临床及试验研究[D].黑龙江中医药大学,中医五官科学（专业学位）,2013,硕士.
[25]王小威.汇丰中国私人银行业务竞争战略[D].华南理工大学,工商管理（专业学位）,2014,硕士.
[26]王琛.基于ASP.NET的特价审批系统的设计与实现[D].北京交通大学,2014.
[27]张兴华,石万,李磊.感应电机直接转矩控制系统的新型滑模定子磁链观测器[J].电气传动,2014,10:3-6.
[28]王亚冰.高中英语新手教师和专家型教师课堂提问的对比研究[D].上海外国语大学,英语语言文学,2012,硕士.
[29]谢苏闽.泰勒汽车公司战略成本管理问题研究[D].湖南师范大学,工商管理（专业学位）,2014,硕士.
[30]谭敏.基于分数阶滑模变结构的网络控制系统研究[D].东北大学,模式识别与智能系统,2010,硕士.
[31]赵丽新.高速中红外光谱测温系统的研制[D].哈尔滨工业大学,仪器科学与技术,2013,硕士.
[32]王建伟.基于F28M35Hx的嵌入式TCP/IP协议栈的研究与实现[D].华中科技大学,控制工程,2013,硕士.
[33]徐戍东.益阳市城区地价动态监测体系研究[D].湖南大学,公共管理,2014,硕士.
[34]赵利庆.岩棉厚度锯的研究与开发[D].内蒙古科技大学,机械工程,2014,硕士.
[35]王瑜炜,秦辉.中国信息化与新型工业化耦合格局及其变化机制分析[J].经济地理,2014,02:93-100.
[36]徐勤鹏.起重机车载维修保养系统的设计与实现[D].湖南大学,软件工程,2010,硕士.
[37]傅海军.当代中国人民陪审员选任制度研究[D].吉林大学,法律,2012,硕士.
[38]刘宁.人参SQE与DS基因cDNA的克隆、原核表达及功能的初步研究[D].吉林农业大学,生物化学与分子生物学,2012,硕士.
[39]王铁然.中国男性时尚杂志对中产阶层男性文化的建构[D].吉林大学,新闻学,2013,硕士.
[40]黄艺雅.贵州省金沙县商标使用现状的调查与分析[D].中南民族大学,法律（专业学位）,2013,硕士.
[41]赵萍,马江宝.论图书馆的知识服务及其实现[J].图书馆学研究,2005,08:32-35.
[42]周超.岩石—土壤—植物成矿元素运移的光谱响应及其应用研究[D].吉林大学,地图学与地理信息系统,2013,硕士.
[43]陶弋卿.夜间车辆跟踪与自动评价技术[D].北京交通大学,2014.
[44]马勇.丹红注射液防治小腿皮神经营养血管皮瓣术后血管危象的临床研究[D].福建中医药大学,中医骨伤科学（专业学位）,2014,硕士.
[45]荣红涛.20世纪80年代以来民国图书馆学思想研究述评[J].图书馆,2014,01:44-48.
[46]罗明惠.中国英语学习者词汇习得中概念双向迁移的实证研究[D].南京理工大学,外国语言学及应用语言学,2013,硕士.
[47]吴军,李劼.铝电解生产管理平台的研究与实现[J].冶金自动化,2004,03:54-57.
[48]林育明.基于WEB的闽江学院研究生招生管理信息系统的设计和研究[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[49]唐建华.公共图书馆计算机和互联网免费使用影响与对策研究[D].广西民族大学,图书馆学,2013,硕士.
[50]赵玉柱.直线一级倒立摆的摩擦补偿及自适应控制研究[D].河南科技大学,控制理论与控制工程,2012,硕士.